Những cư dân cổ xưa nhất của thành phố đã sinh sống vào khoảng thế kỷ thứ 3 đến thế kỷ thứ 5 sau công nguyên; dấu tích của những cư dân này được tìm thấy tại nơi mà ngày nay nhà hát thành phố tọa lạc. Có lẽ một vòng thành bằng gỗ đã được xây dựng tại khu vực hiện nay là Vallimägi để bảo vệ các cư dân. Đến năm 1220, thành phố bị người Đan Mạch chiếm và họ đã bắt đầu xây dựng những công trình bằng đá đầu tiên. Một điểm cư dân mang tên Tarvanpea đã từng được đề cập trong tác phẩm Sử biên niên của Henry xứ Livonia viết vào năm 1226. Người Đan Mạch đã xây dựng thành trì đầu tiên tại khu vực Trung Hạ Đức vào năm 1252. Chiến thắng Wesenberg vào năm 1268 của người Nga trước quân xâm lược Đan Mạch và Đức cũng diễn ra tại gần khu vực này.

Vào ngày 12 tháng 6 năm 1302, Rakvere được hưởng quyền tự trị Lübeck. Khi vua Đan Mạch bán vùng Estonia của Đan Mạch cho dòng tu Livonia vào năm 1346, một lâu đài lớn được xây trên nền pháo đài cũ. Ordensburg được bảo vệ bởi các tháp canh và sân trong pháo đài. Một tu viện của dòng tu Phrăngxoa được xây dựng vào năm 1508.

Trong Cuộc chiến tranh Livonia kéo dài từ năm 1558 đến năm 1581, Rakvere nằm dưới sự cai trị của nước Nga Sa hoàng và bị tàn phá nặng nề trong chiến tranh. Sau trận công phá Wesenberg (1574),[1] đế quốc Thụy Điển chiếm đóng thành phố vào năm 1581[2] trước khi nó được chuyển giao cho Liên bang Ba Lan - Litva vào năm 1602; người Ba Lan đã phá hủy lâu đài của thành phố vào năm 1605. Cùng năm người Thụy Điển lấy lại quyền kiểm soát thành phố và xây dựng một cung điện lớn trên phế tích của tu viện thành phố. Trong Chiến tranh Phương Bắc, Rakvere bị đốt phá vào năm. Khi Estonia và Livonia đầu hàng vào năm 1710 và Hòa ước Nystad được ký kết vào năm 1721, Rakvere trở thành một lãnh thổ của Đế quốc Nga cho đến khi Estonia giành được độc lập vào năm 1918.

Sau khi Estonia được độc lập, nhiều công trình lớn được xây dựng tại Rakvere ví dụ như các khu thương mại, ngân hàng thành phố (nay là trụ sở của SEB Eesti Ühispank), và trung tâm thể dục thể thao của cả thành phố. Năm 1930 sân vận động của Rakvere được khai trương. Những tờ báo địa phương lần lượt được khai sinh, bao gồm tờ Virumaa Teataja ấn bản lần đầu vào năm 1925. Nhà hát đầu tiên của thành phố cũng được xây dựng xong vào cuối thập niên 1930 và được khai trương vào ngày 24 tháng 1 năm 1940. Nó vẫn còn hoạt động cho đến ngày nay.